27. augusta 2025 • 2m čítanie

Grok 2.5 je tu zadarmo: Prečo ho (zatiaľ) nespustíte na domácom PC?

Elon Musk uvoľnil svoj minulý model Grok 2.5 ako open-source. Grok 3 bude o pol roka.

To je dobrá správa, tá horšia je, že potrebujete asi 8 grafických jadier, každé s viac ako 40 GB VRAM. Na domáci počítač to zatiaľ nie je, no súbory sa už dajú spustiť a používať cez SGLang inference engine. V tejto chvíli bežným používateľom zostáva len čakať, kým niekto urobí optimalizáciu pôvodných váh v súboroch safetensors.

To je zvyčajne do súborov s príponou GGUF. Ide o optimalizované a zjednodušené formáty pre beh na domácich počítačoch s menšou kapacitou RAM. Podobne ako si môžete spustiť Gemma od Googlu na mobile. Tu je návod, ako na to.

Po konverzii bude možné využiť aplikácie ako LM Studio alebo Ollama. Aj vtedy budú mať súbory niekoľko gigabajtov, no budú schopné behu na bežných počítačoch, nielen na výkonných staniciach podporujúcich inferenciu (naučenie modelu ako odpovedať z uložených dát – ako vyskladať vety, používať slová atď.).

Nateraz si pôvodné modely stiahnete z Hugging Face. Aj keď novinka nie je priamo dostupná širokému spektru používateľov, je to ďalší krok na využívanie výborného modelu off-line v budúcnosti.

Zostáva len dúfať, že nejakí dobrovoľníci vykonajú konverziu do GGUF formátu. Najnovší dostupný model Grok 4 je dostupný zadarmo, no s obmedzeniami. Hlasové odpovedanie sa dá použiť aj v bezplatnej verzii.

Možno u nás nie je taký známy ako ChatGPT, no jeho odpovede a spôsob výstupu vás prekvapí. Ideálne ako inšpirácia, a keď miniete limit na inom asistentovi, Grok ho spoľahlivo zastúpi.

Zdroj: Elon Musk

Prečítajte si aj: